Pre-trained language models, despite their rapid advancements powered by scale, still fall short of robust commonsense capabilities. And yet, scale appears to be the winning recipe; after all, the largest models seem to have acquired the largest amount of commonsense capabilities. Or is it? In this paper, we investigate the possibility of a seemingly impossible match: can smaller language models with dismal commonsense capabilities (i.e., GPT-2), ever win over models that are orders of magnitude larger and better (i.e., GPT-3), if the smaller models are powered with novel commonsense distillation algorithms? The key intellectual question we ask here is whether it is possible, if at all, to design a learning algorithm that does not benefit from scale, yet leads to a competitive level of commonsense acquisition. In this work, we study the generative models of commonsense knowledge, focusing on the task of generating generics, statements of commonsense facts about everyday concepts, e.g., birds can fly. We introduce a novel commonsense distillation framework, I2D2, that loosely follows the Symbolic Knowledge Distillation of West et al. but breaks the dependence on the extreme-scale models as the teacher model by two innovations: (1) the novel adaptation of NeuroLogic Decoding to enhance the generation quality of the weak, off-the-shelf language models, and (2) self-imitation learning to iteratively learn from the model's own enhanced commonsense acquisition capabilities. Empirical results suggest that scale is not the only way, as novel algorithms can be a promising alternative. Moreover, our study leads to a new corpus of generics, Gen-A-Tomic, that is of the largest and highest quality available to date.

大型神经模型的培训和推断很昂贵。但是，对于许多应用程序域，虽然新任务和模型经常出现，但建模的基础文档主要保持不变。我们研究如何通过嵌入回收利用（ER）来降低此类设置的计算成本：在执行训练或推理时从以前的模型中重新使用激活。与以前的工作相反，重点是冻结小型分类头进行填充，这通常会导致绩效显着下降，我们提出了从预告片的模型中缓存中间层的输出，并为新任务的剩余层进行填充。我们表明，我们的方法在训练过程中提供了100％的速度和55-86％的推理，并且对科学领域中文本分类和实体识别任务的准确性产生了可观的影响。对于通用域的问答任务，ER提供了类似的加速和少量准确性。最后，我们确定了ER的几个开放挑战和未来的方向。

随着大型语言模型的出现，抽象性摘要的方法取得了长足的进步，从而在应用程序中使用了帮助知识工人处理笨拙的文档收集的潜力。一个这样的环境是民权诉讼交换所（CRLC）（https://clearinghouse.net），其中发布了有关大规模民权诉讼，服务律师，学者和公众的信息。如今，CRLC中的摘要需要对律师和法律专业的学生进行广泛的培训，这些律师和法律专业的学生花费数小时了解多个相关文件，以便产生重要事件和结果的高质量摘要。在这种持续的现实世界摘要工作的激励下，我们引入了Multi-iplesum，这是由正在进行的CRLC写作中绘制的9,280个专家作者的摘要集。鉴于源文档的长度，多文章介绍了一个具有挑战性的多文档摘要任务，通常每个情况超过200页。此外，多胎sum与其多个目标摘要中的其他数据集不同，每个数据集都处于不同的粒度（从一句“极端”摘要到超过五百个单词的多段落叙述）。我们提供了广泛的分析，表明，尽管培训数据（遵守严格的内容和样式准则）中的摘要很高，但最新的摘要模型在此任务上的表现较差。我们发布了多体式的摘要方法，以及促进应用程序的开发，以协助CRLC的任务https://multilexsum.github.io。

知识图（kg）链接预测是人工智能中的一项基本任务，在自然语言处理，信息检索和生物医学中的应用。最近，通过使用结合知识图嵌入（KGE）和上下文语言模型（LMS）的合奏，通过利用KGS中的跨模式信息来实现有希望的结果。但是，现有的合奏要么是（1）在排名准确性提高方面并不始终有效，要么（2）由于与深度语言模型的成对排名的组合爆炸问题，在较大数据集上效率不佳。在本文中，我们提出了一种新型的分层排名架构级联，以保持完全结合的排名准确性，同时大大提高效率。 Cascader使用LMS来重新启动更有效的基本毛金属的输出，依靠自适应子集选择方案，旨在最小化LMS，同时最大程度地利用KGE的精度增益。广泛的实验表明，Cascader在KGE基线上最多可提高9分，从而在四个基准上设定新的最先进的性能，同时在竞争性跨模式基线上提高效率一个或多个数量级。我们的经验分析表明，模型跨模式的多样性和保存单个模型的置信度信号有助于解释级联者的有效性，并提出了跨模式级联体系结构的有希望的方向。可以在https://github.com/tsafavi/cascader上获得代码和预估计的模型。

预测任务标签和为其预测生成自由文本阐述的自律化模型可以实现与NLP系统更直观的交互。然而，这些模型目前正在接受大量人为的自由文本解释，每个任务都会阻碍更广泛的使用。我们建议使用少数培训例子研究更现实的自律化建立。我们出示2月 - 一个标准化的四个现有英语数据集和相关指标。我们通过2月份广泛探索自然语言提示来确定正确的提示方法。然后，通过使用此提示并缩放模型大小，我们证明了几次拍摄自合合理化的进展。我们展示了这项任务的完善房间仍然有充足的改进空间：人类注册人评估的生成解释的平均合理性最多为51％，而人类解释的合理性是76％。我们希望2月份与我们的拟议方法一起促使社区承担几次拍摄的自我合理化挑战。

从PDFS中准确提取结构化内容是NLP在科学论文中的关键第一步。最近的工作通过纳入基本布局信息，例如在页面上的每个令牌的2D位置，进入语言模型预先润廓来提高提取精度。我们介绍了明确地模拟视觉布局（VILA）组，即文本行或文本块的新方法，以进一步提高性能。在我们的I-VILA方法中，我们表明，只需将特殊令牌插入模型输入的布局组边界即可导致令牌分类的1.9％的宏F1改进。在H-VILA方法中，我们表明布局组的分层编码可能导致宏F1损耗小于0.8％的高达47％的推理时间。与先前的布局感知方法不同，我们的方法不需要昂贵的额外预制，只有微调，我们显示的速度可以降低培训成本高达95％。实验在新策划的评估套件S2-Vlue上进行，该S2-VLUE统一现有的自动标记的数据集，包括从19个科学学科的不同论文的手动注释的新数据集。预先训练的权重，基准数据集和源代码可在https://github.com/allenai/vila获得。

确定多个文档的概念提及的练习是自然语言理解中的基本任务。以前关于跨文档Coreference解析（CDCR）的工作通常会考虑新闻中的事件提到，这很少涉及普遍存在的科学和技术的技术概念。这些复杂的概念采用不同的形式或含糊不清的形式，并且具有许多分层级别的粒度（例如，任务和子组织），构成了CDCR的挑战。我们呈现了分层CDCR（H-CDCR）的新任务，其目标是在它们之间联合推断COREREFER集群和层次结构。我们在科学论文中创建SciCo，一个专家注释的H-CDCR数据集，比突出的欧洲ecb +资源大3倍。我们研究了我们为H-CDCR定制的强大基线模型，并突出了未来工作的挑战。

Language models pretrained on text from a wide variety of sources form the foundation of today's NLP. In light of the success of these broad-coverage models, we investigate whether it is still helpful to tailor a pretrained model to the domain of a target task. We present a study across four domains (biomedical and computer science publications, news, and reviews) and eight classification tasks, showing that a second phase of pretraining indomain (domain-adaptive pretraining) leads to performance gains, under both high-and low-resource settings. Moreover, adapting to the task's unlabeled data (task-adaptive pretraining) improves performance even after domain-adaptive pretraining. Finally, we show that adapting to a task corpus augmented using simple data selection strategies is an effective alternative, especially when resources for domain-adaptive pretraining might be unavailable. Overall, we consistently find that multiphase adaptive pretraining offers large gains in task performance.

Language models are widely deployed to provide automatic text completion services in user products. However, recent research has revealed that language models (especially large ones) bear considerable risk of memorizing private training data, which is then vulnerable to leakage and extraction by adversaries. In this study, we test the efficacy of a range of privacy-preserving techniques to mitigate unintended memorization of sensitive user text, while varying other factors such as model size and adversarial conditions. We test both "heuristic" mitigations (those without formal privacy guarantees) and Differentially Private training, which provides provable levels of privacy at the cost of some model performance. Our experiments show that (with the exception of L2 regularization), heuristic mitigations are largely ineffective in preventing memorization in our test suite, possibly because they make too strong of assumptions about the characteristics that define "sensitive" or "private" text. In contrast, Differential Privacy reliably prevents memorization in our experiments, despite its computational and model-performance costs.

我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。